我们提出了Theseus，这是一个有效的应用程序不合时宜的开源库，用于在Pytorch上构建的可区分非线性最小二乘（DNL）优化，为机器人技术和视觉中的端到端结构化学习提供了一个共同的框架。现有的DNLS实施是特定应用程序的，并且并不总是纳入许多对效率重要的成分。 Theseus是应用程序不可静止的，正如我们使用的几个示例应用程序所用的，这些应用程序是使用相同的基础可区分组件构建的，例如二阶优化器，标准成本功能和Lie组。为了提高效率，TheseUS纳入了对稀疏求解器，自动矢量化，批处理，GPU加速度和梯度计算的支持，并具有隐式分化和直接损耗最小化。我们在一组应用程序中进行了广泛的性能评估，显示出这些功能时显示出明显的效率提高和更好的可扩展性。项目页面：https：//sites.google.com/view/theseus-ai
translated by 谷歌翻译
我们解决了在手动操纵期间从触摸跟踪3D对象姿势的问题。具体地，我们使用基于视觉的触觉传感器来看看追踪小物体，该触觉传感器在接触点提供高维触觉图像测量。虽然事先工作依赖于有关已本地化对象的先验信息，但我们删除此要求。我们的关键识别是，一个对象由几个本地曲面修补程序组成，每个界面都足以实现可靠的对象跟踪。此外，我们可以通过提取嵌入在每个触觉图像中的局部表面正常信息在线恢复此本地补丁的几何形状。我们提出了一种新的两阶段方法。首先，我们使用图像翻译网络学习从触觉图像到曲面法线的映射。其次，我们在因子图中使用这些表面法线到两个重建本地补丁映射并使用它来推断3D对象姿势。我们展示了在唯一形状的100多个联系序列中跟踪可靠的对象跟踪，其中仿真中的四个对象和现实世界中的两个对象。补充视频：https://youtu.be/jwntc9_nh8m
translated by 谷歌翻译
我们解决了学习观察模型的问题，用于估计的结束到底。在部分可观察环境中运行的机器人必须使用捕捉潜在状态和观察之间的联合分布的观测模型来推断潜在的状态。该推理问题可以作为使用所有先前测量的最可能的状态序列优化的图表中的目标。前工作使用观察模型，即已知先验，或者独立于图形优化器的代理损耗培训。在本文中，我们提出了一种方法，通过在循环中使用图形优化器学习观察模型来直接优化端到端跟踪性能。然而，可能出现这种直接方法，要求推断算法完全可分辨率，这很多最先进的图表优化器不是。我们的主要洞察力是推出作为基于能源学习的问题。我们提出了一种新颖的方法，Leo，用于学习观察模型的结束，具有可能是不可差异的图优化器。 Leo在从图形后面的采样轨迹之间交替，并更新模型以将这些样本与地面真相轨迹匹配。我们建议使用增量高斯牛顿溶剂有效地生成这些样品。我们将Leo与来自两个独特任务的数据集上的基线进行比较：导航和现实世界的平面推动。我们表明Leo能够学习具有较低误差和更少样本的复杂观测模型。补充视频：https://youtu.be/yqzlupudfka
translated by 谷歌翻译
室内运动计划的重点是解决通过混乱环境导航代理的问题。迄今为止，在该领域已经完成了很多工作，但是这些方法通常无法找到计算廉价的在线路径计划和路径最佳之间的最佳平衡。除此之外，这些作品通常证明是单一启动单目标世界的最佳性。为了应对这些挑战，我们为在未知室内环境中进行导航的多个路径路径计划者和控制器堆栈，在该环境中，路点将目标与机器人必须在达到目标之前必须穿越的中介点一起。我们的方法利用全球规划师（在任何瞬间找到下一个最佳航路点），本地规划师（计划通往特定航路点的路径）以及自适应模型预测性控制策略（用于强大的系统控制和更快的操作） 。我们在一组随机生成的障碍图，中间航路点和起始目标对上评估了算法，结果表明计算成本显着降低，具有高度准确性和可靠的控制。
translated by 谷歌翻译